Năm 1914, ông trở về nước và được bổ nhiệm làm quan với chức Tri huyện Hương Sơn, tỉnh Hà Tĩnh. Con đường quan lộ hanh thông, làm Tri huyện, Tri phủ, Thương tá, Bố chính rồi Tuần phủ, Tổng đốc của tỉnh Hà Tĩnh, Tuyên Quang, Kiến An, Quảng Yên, Nam Định, Lạng Sơn, Phúc Yên, Bắc Ninh, Thái Bình. Ở đâu, ông cũng được biết tiếng là liêm khiết và có năng lực an dân.

Ông cũng rất quan tâm đến đời sống dân làng quê hương. Chính ông là người mang nghề làm nón, làm áo tơi lá về làng Mông Phụ, mở lớp dạy ngay tại Từ đường họ Phan. Tuy nhiên, việc mở nghề cho dân làng không thành do hoàn cảnh chiến tranh nên có người kẻ độc mồm bảo: "Cụ đi làm quan với thiên hạ, lại đem cái nghề ăn mày về làng..."[3][4].

Năm 1941, ông được chính quyền bảo hộ Pháp bổ nhiệm làm Tổng đốc Thái Bình. Bấy giờ, người Nhật bắt đầu thâm nhập Đông Dương. Cũng như nhiều trí thức bấy giờ, ông có quan điểm hợp tác với người Nhật để tìm cách cởi bỏ sự thống trị của người Pháp. Đồng thời, ông cũng ngầm ủng hộ con trai mình là Phan Kế An hoạt động trong phong trào Việt Minh. Năm 1944, lúc đang là Tổng đốc Thái Bình, ông đã ngầm ủng hộ Việt Minh bằng cách trao một tín phiếu 500 đồng bạc Đông Dương qua ông Nguyễn Công Liệu là một cán bộ Việt Minh.[5]

Tháng 3 năm 1945, ông từ nhiệm chức vụ Tổng đốc Thái bình, khi Nhật đảo chính Pháp và dựng lên Chính phủ Đế quốc Việt Nam. Ông được Hoàng đế Bảo Đại cử giữ chức Khâm sai Bắc Bộ, một chức vụ toàn quyền thay mặt hoàng đế tại Bắc Bộ về danh nghĩa. Ông được bổ nhiệm làm thành viên Ủy ban Giám đốc chính trị miền bắc gồm các thành viên: Đặng Thai Mai, Hoàng Đạo, Trần Văn Lai, do bác sĩ Nguyễn Xuân Chữ làm Chủ tịch.